灾难性的遗忘是阻碍在持续学习环境中部署深度学习算法的一个重大问题。已经提出了许多方法来解决灾难性的遗忘问题，在学习新任务时，代理商在旧任务中失去了其旧任务的概括能力。我们提出了一项替代策略，可以通过知识合并（CFA）处理灾难性遗忘，该策略从多个专门从事以前任务的多个异构教师模型中学习了学生网络，并可以应用于当前的离线方法。知识融合过程以单头方式进行，只有选定数量的记忆样本，没有注释。教师和学生不需要共享相同的网络结构，可以使异质任务适应紧凑或稀疏的数据表示。我们将我们的方法与不同策略的竞争基线进行比较，证明了我们的方法的优势。
translated by 谷歌翻译
对抗性持续学习对于持续学习问题有效，因为存在特征对齐过程，从而产生了对灾难性遗忘问题敏感性低的任务不变特征。然而，ACL方法施加了相当大的复杂性，因为它依赖于特定于任务的网络和歧视器。它还经历了一个迭代培训过程，该过程不适合在线（单周）持续学习问题。本文提出了一种可扩展的对抗性持续学习（比例）方法，提出了一个参数生成器，将共同特征转换为特定于任务的功能，并在对抗性游戏中进行单个歧视器，以诱导共同的特征。训练过程是在元学习时尚中使用三个损失功能组合进行的。缩放比例优于明显的基线，其准确性和执行时间都明显。
translated by 谷歌翻译
图神经网络（GNN）已成为与图形和类似拓扑数据结构有关的无数任务的骨干。尽管已经在与节点和图形分类/回归任务有关的域中建立了许多作品，但它们主要处理单个任务。在图形上的持续学习在很大程度上没有探索，现有的图形持续学习方法仅限于任务的学习方案。本文提出了一个持续学习策略，该策略结合了基于架构和基于内存的方法。结构学习策略是由强化学习驱动的，在该学习中，对控制器网络进行了这种方式，以确定观察到新任务时从基本网络中添加/修剪的最佳节点，从而确保足够的网络能力。参数学习策略的基础是黑暗体验重播方法的概念，以应对灾难性的遗忘问题。我们的方法在任务收入学习和课堂学习设置中都通过几个图的连续学习基准问题进行了数值验证。与最近发表的作品相比，我们的方法在这两种设置中都表明了性能的提高。可以在\ url {https://github.com/codexhammer/gcl}上找到实现代码。
translated by 谷歌翻译
许多现实世界的分类问题的班级标签频率不平衡；一个被称为“阶级失衡”问题的著名问题。经典的分类算法往往会偏向多数级别，使分类器容易受到少数族裔类别的分类。尽管文献富含解决此问题的方法，但随着问题的维度的增加，许多方法没有扩展，并且运行它们的成本变得越来越高。在本文中，我们提出了端到端的深层生成分类器。我们提出了一个域构成自动编码器，以将潜在空间保留为发电机的先验，然后将其用于与其他两个深网，一个歧视器和一个分类器一起玩对抗游戏。对三个不同的多级不平衡问题进行了广泛的实验，并与最先进的方法进行了比较。实验结果证实了我们方法比流行算法在处理高维不平衡分类问题方面具有优势。我们的代码可在https://github.com/tanmdl/slppl-gan上找到。
translated by 谷歌翻译
跨域多式分类是一个具有挑战性的问题，要求快速域适应以处理在永无止境和快速变化的环境中的不同但相关的流。尽管现有的多式分类器在目标流中没有标记的样品，但它们仍然会产生昂贵的标签成本，因为它们需要完全标记的源流样品。本文旨在攻击跨域多发行分类问题中极端标签短缺问题的问题，在过程运行之前，仅提供了很少的标记源流样品。我们的解决方案，即从部分地面真理（Leopard）中学习的流流过程，建立在一个灵活的深度聚类网络上，在该网络中，其隐藏的节点，层和簇被添加并在不同的数据分布方面动态删除。同时的特征学习和聚类技术为群集友好的潜在空间提供了同时的特征学习和聚类技术的基础。域的适应策略依赖于对抗域的适应技术，在该技术中，训练特征提取器以欺骗域分类器对源和目标流进行分类。我们的数值研究证明了豹子的功效，在24例中，与突出算法相比，它可以提高性能的改善。豹子的源代码在\ url {https://github.com/wengweng001/leopard.git}中共享。
translated by 谷歌翻译
计算特征向量中心（EC）的现有方法倾向于不足以足够强大，以确定EC在低时间复杂度或对大型网络的不可稳定可扩展的情况下，因此实际上不可靠/计算昂贵。因此，开发一种在低计算时间内可扩展的方法是本质的。因此，我们提出了一种深入学习模型，用于识别具有高特征传染媒介中心的节点。在识别具有监督学习方法的高排名节点时，有一些以前的作品，但在现实世界的情况下，没有标记图，因此监督学习方法的部署成为危险，其使用变得不切实际。因此，我们设计了CUL（与无监督的学习）方法，以无监督的方式学习网络中的相对射周分数。为此，我们开发了一种基于编码器解码器的框架，将节点映射到其各自的估计的EC分数。在不同的合成和现实网络上进行了广泛的实验。我们将CUL与类似于过去的工作的EC估算的基线监督方法进行了比较。观察到，即使在训练上训练数量的训练数据集时，CUL也可以在识别比其监督对方的更高的排名节点时提供相对更好的准确度分数。我们还表明，CUL比EC计算的传统基线方法更快且具有较小的运行时间。代码可在https://github.com/codexhammer/cul上获得。
translated by 谷歌翻译
在低资源设置中，通常利用数据增强策略来提高性能。许多方法尝试了文档级的扩展（例如文本分类），但是很少有研究探讨了令牌级的增强。表演天真，数据增强可以产生语义上不一致和不语法的示例。在这项工作中，我们比较了使用选区突变的简单掩盖语言模型更换和增强方法，以改善低资源设置中指定实体识别的性能，以保留增强句子的语言凝聚力。
translated by 谷歌翻译